What Makes Effective Supervision in Latent Chain-of-Thought: An Information-Theoretic Analysis
潜在链式思维中有效监督的信息论分析
🧭 潜在链式推理的监督优化
Ningbo Institute of Digital Twin, Eastern Institute of Technology · Department of Computing, The Hong Kong Polytechnic University
信息论分析揭示潜在CoT双坍塌，提出轨迹与空间监督，发现生成式重建优于几何压缩，建立信息-性能绑定
📌 工作参考价值（4 点）
- 在搜索推荐系统中若采用隐式CoT进行多步推理（如用户意图推断、推荐理由生成），不应仅依赖结果监督，应引入轨迹监督向中间隐状态注入步骤级信号，并利用空间监督保持隐空间语义结构，防止语义漂移。
- 避免将隐状态强行对齐到离散符号（如MSE回归到思维token），该做法会压缩推理空间；改用生成式重建（自解码器生成推理步骤）作为更灵活的语义锚，可更好地保留信息容量，提升复杂推荐任务的推理质量。
- 可借鉴统一潜在探针（ULP）的设计，通过测量隐轨迹与显式推理步骤的互信息，监控推荐模型中隐式推理过程的信息保真度，作为训练质量的评价指标，指导优化方向。
- 论文证实推理准确率与隐链信息保真度强绑定，因此在需要多步逻辑推理的推荐场景（如用户兴趣演化建模）中，应优先优化隐状态与推理逻辑的互信息，而非仅关注最终推荐指标。